# scrapy如何同时写多个爬虫，如何顺序启动，不同爬虫的配置如何单独设置，爬虫相同的数据处理如何提取出来。
"""
 1.写多个爬虫： 在spider下建多个爬虫文件 scrapy  genspider day01 www.com
 2.按顺序启动：
    1.
        os.system("scrapy crawl xinhuanet -s CLOSESPIDER_TIMEOUT=3600")
        os.system("scrapy crawl money163 -s CLOSESPIDER_TIMEOUT=3600")
    2.reactor
 3.不同爬虫间单独配置: custom_settings={} 会覆盖掉全局setting里相同的配置
 4.爬虫相同数据的提取:itemloader"""


# scrapy实现ip代理，
"""
1.一般在下载中间件配置代理ip:
    1.在settings中打开下载中间件
    2.def process_request(self, request, spider):
        request.meta['proxy'] = 'http://111'
2.在start_request方法中写：
    request.meta['proxy'] = 'http://111'

"""
# scrapy实现随机ua
"""
middlewares 中设置 UA
定义一个类：
    在 process_request中通过random随机使用UA

"""
# scrapy实现随机cookie
"""
 request.cookies = cookie_dict
"""
# scrapy实现超时重试
"""
timeout = 2
"""
# itemloader
"""
1. itemLoader最大的好处是作为一个容器，可以多个spider复用提取规则。

2.可以把规则动态添加，因为规则可以放入数据库或者文件中。

3.ItemLoader不用考虑是否为空，是否是0的值。

"""
# 见下方爬虫实例

